分离思考与拼写的高效生成式推荐
🧭 生成式推荐 · Semantic ID 推理优化 ★ 深度解读
将生成式推荐中 backbone 的历史建模与 SID 逐码生成解耦，由轻量 decoder 完成 beam search，实现 3-8 倍吞吐提升且精度不降
📌 工作参考价值（8 点）
- 架构选择：重 encoder + 轻 decoder 分离 serving
- 在生成式推荐（Semantic ID）线上推理中，让大 backbone 只跑一次 prefill 输出固定大小的 next-item concept（如 1KiB），beam search 全部下沉到 2 层 256 宽的轻量 decoder。concept 可作为 per-user state 预计算并缓存，在线只有轻 decoder 参与 decode，避免大模型反复处理 O(BK) 个 decode token。
- 输入侧融合 item SID tokens 降低 prefill
- 用 MLP 把每个 item 的 K 个 code embedding 融合成单个 token，历史长度从 TK 降到 T；训练时通过 block-causal mask 为每个位置提供下一 item 的 gold prefix targets，实现 dense training，一次前向即可监督所有 transitions。
- 轻 decoder 训练用教师分布做 label smoothing
- 将 full-backbone teacher 在 gold prefix 上的 next-code 分布与 one-hot 混合（α 为 KD 权重），作为 decoder 的 CE 目标。在小数据集上可带来 16-23% NDCG@10 提升，且 teacher 仅训练时使用，不增加 serving 成本。
- 复购/重复消费场景加 history pointer
- 对音乐、视频、电商复购等 repeat-heavy 领域，基于 backbone last state 对历史 item 的 attention 构造 pointer，与生成分布混合（gate 由 last state 学习）。在 Yambda 数据集上，pointer 将 Deco NDCG@10 从 0.079 提升到 0.171，几乎追平 FlatGR。
OneLatent：面向高效基础推荐模型的潜在推理框架
🧭 生成式推荐 · Latent Reasoning ★ 深度解读
Kuaishou Technology
用可学习潜在 token 压缩显式 CoT 推理，实现 Latent-Reason-then-Answer，精度与吞吐双提升
📌 工作参考价值（4 点）
- 用固定数量的可学习 latent tokens 替代显式 rationale 生成：在用户上下文和目标 SID 之间插入 2-3 个 latent token，训练时用教师 CoT 对齐，推理时只解码目标 item，可将 LLM 推荐的吞吐提升 17 倍以上且精度不降；适合在需要低延迟的生成式召回或重排中落地。
- Multi-View Adaptive CoT 构造互补监督：设计意图探索、正样本评估、行为归因三个视角，并让教师根据用户行为复杂度自适应输出推理长度，相比单一模板能覆盖更多样兴趣且减少 35% 冗余；这套 CoT 数据构造思路可直接迁移到 query 推荐、广告文案生成等场景。
- 三阶段对齐 + 课程后训练：先 rationale 对齐，再 SID 对齐，最后混合 latent/standard SFT 1:1，能同时保留直接生成和 latent 推理两种模式，避免显式 CoT 训练损害通用能力；适合渐进式上线 LLM 推荐。
- 生产推理架构：行为触发异步刷新、价值感知调度、结果缓存 Redis，将大模型推理移出在线请求路径，只在候选融合时消费缓存结果；这是把 LLM 推荐落地到高 QPS 电商/广告场景的可行工程范式，可直接参考。
扩散语言模型解码速度随任务与语言变化
🧭 扩散LM推理成本与解码速度分析
University of California, Los Angeles · CIS, LMU Munich · Munich Center for Machine Learning
扩散LM前向次数由输出新颖性与词稀有度决定，解码速度加权候选可提升推理准确率4.2点
📌 工作参考价值（4 点）
- 生成式任务可借鉴“解码步数作为难度/置信度信号”：在生成推荐理由、广告文案、搜索词推荐时，用前向次数或解码速度对候选结果排序或早停，低成本的候选往往更可靠。
- 对不同类型的生成任务设置差异化资源预算：复制/改写类任务（如 query 改写、标题生成）成本低，开放式生成（如创意文案）成本高，可在系统中动态分配超时或批大小。
- 多语言场景需额外考虑每 token 成本：高 tokenization 的语言不仅 token 数多，每 token 前向次数也更高，在估算延迟或做多语言资源分配时应加权而非只看 token 数。
- 用解码速度加权候选答案优于多数投票，在集成多个生成结果时可以在不增加额外成本的前提下提升可靠性，适合用于生成式推荐或 Agent 的最终答案选取。
RecSoup：面向可控多目标推荐的高效模型合并方法
🧭 多目标推荐 · 模型合并 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China
RecSoup 通过剪枝消解跨目标干扰并学习偏好到合并系数的映射，实现推理时可控多目标推荐，较参数生成提速 165–228 倍
📌 工作参考价值（4 点）
- 模型合并复用已有目标 specialists：工业推荐系统常有多目标模型（如点击、转化、时长、多样性），可离线训练多个单目标专家后，用剪枝+轻量 gating 网络做推理时融合，无需重训全量模型，部署成本低；相比 hypernetwork 生成参数，推理延迟降低 165–228×，适合高 QPS 在线服务。
- 剪枝标准可迁移：将 objective-specific importance 与 cross-objective relevance 结合，用 |τ_i,j * mean_{k≠i} τ_k,j| 保留方向冲突但耦合强的参数，避免因符号不同误删关键权重；该思路可复用于多任务模型合并、LoRA 专家合并、多场景参数融合中的冲突消解。
- 偏好到合并系数用可学习 MLP 而非直接使用偏好向量：业务中多个目标不同尺度/非线性交互时，直接加权效果差；可固定专家参数只更新 gating 网络，用少量样本即可训练，便于在线通过调整 preference weights 切换业务目标（如大促期间提高转化、日常提高多样性）。
- 剪枝保留比例 ρ 在 0.9–0.95 时实际保留 40–70% 参数即可，剪枝不一定总是有益：当任务向量干扰弱时可不剪枝；可将其作为超参或根据专家间重叠度决定是否启用，避免过度稀疏化损失目标信号。
潜在空间判定：语义保持压缩实现高效生成式奖励模型
🧭 生成式奖励模型 · 潜在推理压缩
Soochow University · University of Cambridge · Chalmers University of Technology · Peking University · Tsinghua University
LatentGRM 用语义分块与压缩替代逐 token 评估，在保持判断质量下将推理耗时降低 6-7 倍
📌 工作参考价值（4 点）
- 在电商/广告场景中用 LLM-as-a-judge 做数据筛选、候选评分或 A/B 评测时，可借鉴 LatentGRM 的思路：对多准则评价过程做语义分块与压缩，不逐 token 展开文本，而用连续潜在轨迹完成判断，能显著降低推理成本。
- 其 rubric-guided 压缩方式可迁移到「相关性+广告质量+商品匹配」等多维度评估 prompt：按准则边界压缩关键语义段，保留任务相关的偏好信息，避免生成冗长解释。
- vote@k 场景下节省明显：LatentGRM-8B 在 vote@5 时总推理时间降低 6.1-7.0 倍，适合批量生成候选排序信号时的成本控制。
- 独立解释器从潜在轨迹重建评估文本，提供离线可审计性：生产环境若需追溯 LLM 判断依据，可在不增加在线成本的前提下抽样重建解释。
基于选择的结构化推理：迈向高效多模态搜索智能体
🧭 Agent推理效率优化·选择式结构化推理 ★ 深度解读
Apple · Carnegie Mellon University
将多模态搜索Agent的逐步推理从自由生成改为从候选库中并行选择，保持成功率且推理延迟降超90%
📌 工作参考价值（4 点）
- 在电商导购/搜索 Agent 中，把每轮规划从自由生成改成路由选择：预先定义 5-10 条高频决策候选，如“澄清需求 / 生成搜索 query / 比价 / 读图识别 / 基于证据作答”，让模型按上下文似然打分选择，再用选中候选引导 action 解码。这样能保留自然语言 guidance 的效果，同时规避自回归推理的延迟不可控。
- 工程上可直接复用“并行 prefill 打分”的做法：对候选文本做 teacher-forced logprob 计算，共享历史 KV cache，不需要额外分类头或 SFT warm-up；用 SGLang 的 logprob_start_len + max_new_tokens=0 可实现。候选库可离线维护，p95 延迟比自由生成稳定得多，适合在线流量。
- 训练层面，若用 RL 训练 Agent，可把“规划/路由选择”当作 categorical action，动作 token 保持常规 importance ratio；用 GRPO 更稳，GSPO/SAPO 多步更新时 selector-gradient 近似会损失精度，业务上可采用更多 rollout 或一次更新。
- 候选设计要注意两点：不要只打分 index，要打分完整自然语言文本的语义；库规模从 1 到 6 带来看得见的提升，所以可以先用日志聚类/高绩效轨迹总结出高频意图，再逐步扩展到 6-10 条。
SPRINT：基于平均概率速度的单步生成式推荐
🧭 生成式推荐 · Semantic ID · 单步生成 ★ 深度解读
University of Technology Sydney · New York University Abu Dhabi · University of California, San Diego
把 Semantic ID 生成建模为平均概率速度，单次前向输出完整 SID，并用双层级流对比保持 token 连贯性
📌 工作参考价值（4 点）
- 如果做 SID 生成式召回/排序，优先尝试 OPQ 而非 RQ-VAE/RQ-Kmeans：OPQ 的并行独立子空间更适合一次性预测全部 token；本文消融显示换 RQ 会明显掉点，可作为架构选型依据。
- 在单步并行解码 SID 时，单纯 per-token CE/contrastive 不够，必须加 SID 级整体打分：把 decoder 的 L 个位置隐状态 concat 后 MLP 成 user 侧表示，与 item SID embedding 做 cosine 对比，能显著抑制“每个 token 合理但组合非法”的问题；item 侧 SID embedding 可离线预计算，线上只多一次矩阵乘。
- 线上推理保持 all-mask 输入、trie 约束解码，分数 = token 概率 log-sum + SID 级相似度，单次 forward 即可出 topK；相比 masked diffusion 可拿到 8-10×加速，适合对 latency 敏感的电商推荐候选生成。
- 训练时把 source time 以较大概率锚定在 all-mask（ρ=0.75~1），并采样约 100 个 negative SID 做对比，可在不大幅增加训练成本下同时提升收敛速度和精度。
RenderRank：用压缩视觉 Token 学习文本重排序
🧭 文档重排序 · 视觉 token 压缩 ★ 深度解读
Korea University · Sookmyung Women's University
将文档渲染成图像并以压缩视觉 token 表示，在重排序中减少 16.5–35.5% 输入 token 且保持或提升 NDCG@10。
📌 工作参考价值（4 点）
- 对电商搜索/广告里的长文本（商品详情、用户评论、广告落地页）可离线渲染成图像并用 VLM 视觉编码器产出压缩 token 缓存；在线 rerank 只输入 query token + 文档视觉 token，候选集越大、文档越长，单候选打分成本节省越明显。
- 两阶段训练可直接复用：先用已有文本 reranker 做教师，在 score 级别做 MSE 蒸馏，让压缩/视觉表示对齐文本分数；再用 query-local InfoNCE 对比同一 query 下正负文档。不需要 token 级对齐，且冻结视觉编码器、只对语言 decoder 做 LoRA，训练成本低。
- 渲染参数（font size、行距、DPI、图像宽度）是成本/质量旋钮：10pt→14pt 的 NDCG 只提升约 0.8 个百分点，但 token 增加约 57%、吞吐下降约 33%；业务上可先做 QA/摘要小实验选性价比点，论文的 12pt + 行距 1.0 是较稳默认值。
- 工程上必须把文档视觉编码离线化并缓存：论文中不带缓存时吞吐从 76.83 PPS 掉到 37.31 PPS。若业务已有商品图/多模态特征，可考虑直接复用视觉 embedding，进一步省掉渲染与编码成本。
腾讯混元 A13B 技术报告：80B 总参、13B 激活的 MoE 高效 LLM
🧭 高效 MoE LLM 与双模式 CoT 训练 ★ 深度解读
Tencent Hunyuan Team
开源 80B/13B 激活 MoE，通过双模式 CoT 与强化学习在推理和 Agent 任务上逼近更大模型且吞吐更高
📌 工作参考价值（4 点）
- 双模式 CoT 可用于生产级 LLM 路由：/no think 适合商品问答、摘要、搜索 query 理解、自动补全等高 QPS 低复杂度场景；/think 适合购物导购规划、广告投放策略、深度搜索等复杂 Agent 任务。可按 query 复杂度、用户延迟预算或任务类型做策略路由，省 token 降延迟。
- Agent 数据构造方法可直接迁移：多角色合成引擎（user/planner/tool/agent/checker）+ 沙箱/MCP/合成工具 + 30 类系统指令 + 20K 格式组合，能低成本生成多样化工具调用数据；再针对高频任务（Excel 处理、深度搜索）做增强，适合电商购物助手、广告 Agent、搜索 Agent 的 SFT 数据 pipeline。
- Agent RL 奖励设计值得复用：格式奖励（特殊标记与顺序正确给 1）+ 正确性奖励（tool/parameter/value 一致性）能稳定训练工具调用；对推荐/广告投放的 API 调用、商品搜索参数解析等可定义可验证奖励，再叠加 sandbox 或执行反馈做 RL。
- MoE 推理部署配置可作为选型参考：80B 总参、13B 激活，配 GQA、Expert Parallel、FusedMoE，支持 vLLM/SGLang/TensorRT-LLM 与 INT8/W8A8/KV Cache FP8，batch 32 约 1982 tokens/s；对实时推荐/Agent 场景，快思考模式 + 量化可显著降低推理成本。
为何视频推理仍昂贵？视频与音视频 LLM 推理效率机制综述
🧭 多模态视频 LLM 推理效率综述
系统综述视频/音视频 LLM 的推理效率优化机制，按流水线阶段梳理 token 削减与算力降低方法
📌 工作参考价值（4 点）
- 若业务涉及商品短视频/视频广告理解，可借鉴其帧采样与 token 削减思路：在离线特征抽取或在线推理中先用轻量采样+连接层压缩，控制送入 LLM 的 token 数，降低 prefill 和 KV cache 成本。
- 对多模态 item 表示生成，可参考连接层 token reduction 架构，把视觉/音频 token 聚合成少量语义 token，用于召回或排序特征的轻量化。
- 建立 accuracy–cost 权衡表：在引入任何视频理解模块时，强制在同 host LLM 与输入协议下对比 FLOPs/延迟/显存，避免被跨论文异构指标误导。
- 整体是学术综述，纯文本推荐/搜索系统直接复用点有限；但若部署视频多模态能力，可作为选型与优化清单。
SelfDR：基于推理自蒸馏的 LLM 推荐框架
🧭 LLM 推荐 · 自蒸馏推理增强 ★ 深度解读
Tsinghua University · Quan Cheng Laboratory · Meituan
用推荐性能为 reward 训练 reasoner，再通过动态加权自蒸馏将推理增强迁移到直接推荐模型，在线推理零额外开销
📌 工作参考价值（4 点）
- 在线延迟敏感场景可直接复用：训练时用 GRPO 以推荐命中率为 reward 训练一个 reasoner 生成用户偏好解释，将解释拼入 teacher 输入得到更强排序分布；在线部署 student 直接输出候选 ID，不产生额外推理 token，实测推理时间与普通 SFT 模型相同。
- 动态蒸馏权重公式值得借鉴：根据 teacher 对正样本的排序位置、teacher 与 student 的 rank 差动态调整蒸馏 loss 权重，teacher 排序差时大幅降权，避免从噪声中学习；超参 β≈0.1、温度系数 1~2 较稳。
- 蒸馏损失用 reverse KL 而非 forward KL，让 student 分布集中到 teacher 高概率区域，适合候选 ID 排序场景（候选集有限，需要聚焦 top 候选）。
- 训练 reasoner 时对 rationale 做细粒度 mask（连续 3 个词与 item 标题重叠则 mask），防止信息泄露，提升 rationale 质量；此策略可迁移到任何用生成解释辅助推荐的 pipeline。
记忆增强解锁高效思维链推理
🧭 LLM 推理加速 × 记忆增强压缩
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · Baidu Inc. · Tencent Inc.
提出训练无关的记忆增强压缩框架，用历史推理模式作为预填充支架补偿思维链压缩的信息损失
📌 工作参考价值（4 点）
- 在电商/推荐场景中，若用 LLM 做复杂推理（如商品属性抽取、多步排序、用户意图理解），可将完整 CoT 改为 Chain-of-Draft 风格短推理链降低延迟；同时构建可检索的“推理记忆库”，从历史正确推理中总结关键约束、公式和操作序列，作为 prompt 前缀注入，补偿压缩带来的准确率损失，无需训练，直接可用。
- 记忆的生成与使用可以借鉴 RAG 架构：将历史推理轨迹离线总结为结构化短记忆（如规则、公式片段）并建索引，线上根据问题检索最相关记忆，加入 system 或 prefix；注意实验表明增益来自记忆相关性，单纯拼接长上下文无效，所以向量相似度和相关性过滤要重点设计。
- 对推荐系统中的 query 改写、排序解释、广告文案生成等需要推理但追求低延迟的任务，可以采用“压缩+记忆”的组合：短输出 + 预填充的关键决策因子，达到速度与效果平衡，特别是线上高 QPS 场景。
- 该方法训练无关，兼容 token 级、推理轨迹级、推理状态级压缩，可作为现有 LLM 推理加速方案的轻量插件，适合快速验证对业务指标的影响。
自精炼流水线中的非对称容量分配
🧭 LLM 自精炼流水线非对称容量分配
University of California, Irvine · Drexel University
首次按阶段研究自精炼流水线模型规模：生成与精炼需大模型，评论器小模型即可
📌 工作参考价值（4 点）
- 多阶段生成/改写流水线不要均匀分配模型规模：生成器和精炼器用大模型，评论器可大幅缩小；评论器只做判别，容量不敏感，能省大量 KV cache 和算力。
- 部署自反思/reflection agent 时，用小模型作 critic 过滤中间结果、大模型做 revision，可保持质量同时显著降低耗时与成本；避免 critic 也上大模型。
- 注意 refiner 不要过度缩小：过小的 refiner 可能把已经不错的生成改坏，形成负增益；推荐理由、商品文案生成等场景应为 revision 保留充分容量。
- 若业务使用生成-评论-改写 pipeline 做 query 推荐或 push 文案，可按此分配预算：先固定大 generator，选择尽量小的 critic，再粗测 refiner 的敏感区间。
Intern-S2-Mobius：知识存储与推理解耦的高效基础模型
🧭 LLM 架构 · 知识-推理解耦 ★ 深度解读
Shanghai AI Laboratory
通过全局共享 FFN 知识库与多 Reasoner 隐式迭代，实现同等精度下近 4 倍端到端推理加速
📌 工作参考价值（4 点）
- 解耦知识存储的思路可迁移到「LLM + 海量商品/内容知识」：把商品语义向量、属性知识放到全局共享 Memory 或 MoE 专家中，推荐/广告 Reasoner 按需检索；商品新增下架更像更新知识库，而非重训整套模型。
- 隐式 latent reasoning 值得在 query 推荐、广告文案生成、Agent 规划等长 CoT 成本高的场景探索：用连续隐状态迭代或蒸馏压缩显式 CoT，可显著降低 token 数、提升吞吐，但需在小任务上先验证精度损失。
- MoE 块状划分 FFN + 稀疏激活，为推荐大模型部署提供冷热分层思路：高频知识参数放 GPU，低频/长尾知识放 SSD 按需加载，降低显存压力。
- 该架构显示同等效果只需 Transformer 约 62.6% 的训练数据，对标注稀疏的电商任务有吸引力；但属基础架构改动，业务直接落地的工程成本较高。
ROCS：面向请求的计算共享实现大规模推荐高效推理
🧭 请求导向计算共享 · 推理加速 ★ 深度解读
Meta AI
通过GLM和DCA延迟交互并复用请求侧计算，配合IKBO内核优化，在不损失质量下最高获得3×QPS提升
📌 工作参考价值（4 点）
- 改造现有交叉网络：借鉴GLM思想，在DCNv2或FinalMLP等特征交互模块中，将输入分组为请求侧和候选侧，对线性层、MLP等施加下三角掩码，强制请求侧输出不依赖候选特征，从而可在多候选间复用。在电商排序中，每个用户请求评估数百商品，可节省大量重复计算。
- 用户序列建模引入DCA：对于用户行为序列，先用请求侧编码器一次得到各层表征，再在每层通过跨注意力进行候选条件检索，避免为每个候选重复跑序列模型。在广告推荐中，这能将序列计算复杂度从O(N×seq_len^2)降至接近O(seq_len^2)。
- 工程实现使用IKBO：在GPU推理时，不显式将请求张量广播到候选batch大小，而是通过索引映射在GEMM或注意力内核内部按需加载，并结合融合广播加法、持久化CTA和内存对齐优化。可用Triton编写定制内核，减少HBM带宽占用。
- 计算重新分配策略：节省的FLOPs可倾斜分配到请求侧（因被所有候选平摊），提升模型容量而不显著增加延迟。例如，在排序模型中，可将约80%的预算分配给请求侧，在几乎不增加推理成本的情况下提高AUC。
T2MLR：带时序中层循环的 Transformer
🧭 中层时序循环增强Transformer隐式推理
Princeton University · Princeton Language and Intelligence
在Transformer中层引入跨时间步的隐状态循环，缓解自回归信息瓶颈，提升推理性能
📌 工作参考价值（4 点）
- 可将中层循环引入现有LLM，通过微调提升多步推理任务性能，无需重新预训练，适合在已有Agent系统中以低成本增强模型推理能力。
- 局部循环设计（仅对20%的中间层做递归）既有效又轻量，可作为工程优化思路：在微调大模型时只改装关键的中间层块，减少额外计算开销。
- 隐状态跨步传递的机制可借鉴到需要跨轮次保持中间运算状态的应用，如对话Agent的长期上下文理解、多轮谈判策略规划等。
- 实验表明，改装1.7B模型并微调即可大幅提升数学推理，该方法也可尝试用于电商搜索中的复杂意图解析或多条件过滤推理。
Jet-Long: 动态双焦 RoPE 的高效长上下文扩展
🧭 零样本长上下文扩展 · 动态 RoPE 分组 ★ 深度解读
NVIDIA
一种无需微调的零样本长上下文扩展方法，通过动态调整远程窗口分组因子保持位置在分布内，并利用容斥注意力合并实现几乎无开销的推理
📌 工作参考价值（4 点）
- 零样本扩展部署：可将任意开放权重 RoPE LLM 的上下文窗口无损扩展 4 倍以上（如 32K→128K），无需长上下文微调，适合快速上线长上下文应用（RAG、Agent 轨迹、长文档理解）。
- 双窗口架构：本地窗口（w0=2048）完全保留原始 RoPE，远程窗口动态调整分组大小 G=max(1, ceil(L/w_pretrained))，在短输入时退化为基模型，长输入时最小化位置压缩，避免短上下文性能退化。
- 工程实现借鉴：通过“校正旋转”在 query/key 上施加位置偏移 Δ，实现远程窗口注意力，保持 KV 缓存不变；预填充阶段用三次 FlashAttention 的容斥合并（inclusion–exclusion merge）融合为单个 CuTe 内核，达到 1.28–1.39× FA2 吞吐，生成开销 ≤4%，可直接集成到线上推理服务。
- 超参数鲁棒：唯一超参数 w0 在 512~4096 间几乎无波动（RULER 波动 <2pp），无需按部署场景调参，降低维护成本。
ReFreeKV：迈向无阈值 KV 缓存压缩
🧭 LLM 推理优化 · KV缓存压缩
Nanjing University of Aeronautics and Astronautics · WeChat AI, Tencent · Fudan University · Independent Researcher
提出首个无阈值 KV 缓存压缩方法，自适应分配预算，无需预设阈值即可保持全缓存性能
📌 工作参考价值（4 点）
- 长上下文推理优化：在电商、广告场景中，用户行为序列、商品描述等长文本输入可利用该自适应 KV 缓存压缩，降低线上推理内存与延迟，无需为不同输入单独调阈值。
- 多轮 Agent 对话管理：Agent 系统常需维持长对话历史，ReFreeKV 的无阈值特性可动态保留关键 KV 对，避免对话状态因缓存裁剪过度而丢失重要信息，提升多轮交互稳定性。
- 避免输入敏感调参：业务中处理多样化的查询（搜索词、聊天消息）时，传统缓存压缩需凭经验设定预算，此方法可自动调整，减少工程维护成本。
- 模型部署降本：在 LLM 推荐、检索增强生成等场景下，直接复用该方法实现近乎无性能损失的 KV 缓存压缩，节省 GPU 显存，支持更大 batch size 或更长上下文，直接降低服务成本。
Video2LoRA：通过参数化视频内化降低 VLM 推理成本
🧭 视觉语言模型 · 视频压缩内化
University of Maryland, College Park
用超网络从视频直接预测 LoRA 权重，查询时零视觉 token，保持性能的同时大幅降低延迟和吞吐成本
📌 工作参考价值（4 点）
- 对于电商商品视频、直播切片等需要反复问答的场景，将视频内化为 LoRA 权重后，后续查询完全省去视频帧编码，可实现 6~80 倍的首 token 延迟降低和 1500 倍的视觉 token 负载缩减，适用于对同一内容多次交互的 Agent 或推荐解释链路。
- 超网络预测 LoRA 权重的思路可迁移到其他多模态输入的快速适配：如图集、商品描述集合等，用一次前向生成一个适配器，替代传统微调，快速构建个性化模型。
- 发现不重叠视频段独立生成的 LoRA 可在秩空间直接相加组合，这为长视频（如长时直播回放）的分块处理提供了可能，可在电商视频理解中用于处理超长商品讲解或直播内容。
- 单次前向生成适配器的架构设计（感知器超网络读取冻结 VLM 中间层特征）可作为“模型即存储”的参考，当业务需要反复访问同一批多媒体内容时，可将内容压缩为轻量权重，减少对上下文窗口的依赖。
LayerRoute: 通过 LoRA 微调实现输入条件自适应层跳过
🧭 Agent 推理加速 · 自适应层跳过 ★ 深度解读
Accenture
用 1.1M 参数教会 0.5B 模型按步型跳层：工具调用省 15.2% FLOPs，规划几乎不跳，质量不降反升。
📌 工作参考价值（4 点）
- Agent 推理系统加速：在工具调用占比高的场景（如电商客服中的查订单、查库存），可对 LLM 使用 LayerRoute 适配，保持规划能力同时大幅降低工具步驟计算量，直接提升吞吐。
- 不同请求类型动态深度分配：推荐/Agent 场景中，简单确定性请求与复杂推理请求可复用本方法——用极少量参数为每层配路由器 + LoRA，按输入类型动态跳过若干层，实现“按需深度”。
- 偏置初始化的工程技巧：对分层路由任务，有意识将中间层初始化为“跳过”状态（bias 负值），可打破对称，让梯度信号快速区分层的重要性，避免所有门控全开。
- 门正则化防止平凡解：任何可学习门控机制（如多分支动态路由、MoE 专家选择）都应加入类似正则项，否则模型倾向于保持所有通路开启，丧失动态选择能力。
OScaR：极端KV缓存量化的奥卡姆剃刀
🧭 LLM推理优化 · INT2 KV缓存量化
Tsinghua University · Meituan LongCat Team · The University of Hong Kong · The University of Edinburgh · UCAS
OScaR通过Canalized Rotation与Omni-Token Scaling解决Token Norm Imbalance，实现INT2近乎无损KV缓存量化，解码加速3.0×
📌 工作参考价值（4 点）
- INT2 KV缓存部署：电商对话或实时推荐场景中，用OScaR的INT2量化可降低96%的KV缓存内存（5.3×），结合3.0×解码加速，适合高并发低延迟需求。
- 轻量集成路径：Canalized Rotation + Omni-Token Scaling无需复杂重采样或辅助模型，仅需少量显式变换，可直接插入现有Transformer推理管线，降低工程复杂度。
- 多模态量化统一：OScaR已覆盖文本、多模态及全模态LLM，对购物图文推荐中的多模态模型KV缓存压缩同样有效，避免为不同模态设计多套量化方案。
- CUDA Kernel优化：论文提供的定制化CUDA kernel将旋转与缩放无缝融合，可借鉴其极简高效的设计思路加速自研模型推理。